AI推理卡脖子难题破局!&
最近和做AI服务器运维的朋友聊天,他倒苦水:"大模型推理时,光等首句回复就要卡0.5秒,客户直吐槽体验差;更头疼的是,HBM显存贵得离谱,算力成本像坐火箭。"这其实是当前AI落地的普遍痛点——算力跑得快,存储拖后腿。而天风证券最新研报抛出的"以存代算"技术,或
最近和做AI服务器运维的朋友聊天,他倒苦水:"大模型推理时,光等首句回复就要卡0.5秒,客户直吐槽体验差;更头疼的是,HBM显存贵得离谱,算力成本像坐火箭。"这其实是当前AI落地的普遍痛点——算力跑得快,存储拖后腿。而天风证券最新研报抛出的"以存代算"技术,或
这项由沙特阿卜杜拉国王科技大学(KAUST)的Mohammad Zbeeb、Hasan Abed Al Kader Hammoud和Bernard Ghanem领导的开创性研究,发表于2025年9月的arXiv预印本平台。感兴趣的读者可以通过arXiv:250
根据TrendForce集邦咨询最新研究,未来两年AI基础设施的建置重心将更偏向支持高效能的推理服务,在传统大容量HDD严重供不应求的情况下,CSP业者纷纷转向NAND Flash供应商寻求解方,催生专为AI推理设计的Nearline SSD(近线固态硬盘),
推理 ssd ai推理 nearlinessd nearli 2025-09-22 17:13 5
【机构:AI推理催化大容量储存产品结构性改变 Nearline SSD需求急升】《科创板日报》22日讯,根据TrendForce集邦咨询最新研究,未来两年AI基础设施的建置重心将更偏向支持高效能的推理服务,在传统大容量HDD严重供不应求的情况下,CSP业者纷纷
推理 ssd ai推理 nearlinessd nearli 2025-09-22 17:05 4
9月18日,七牛智能(2567.HK)与润建股份旗下的五象云谷智算中心宣布战略合作。本次合作目标非常清晰:把AI推理算力做成普惠价,一起闯进千亿级AI推理市场。
9月18日,七牛智能(2567.HK)与润建股份旗下的五象云谷智算中心宣布战略合作。本次合作目标非常清晰:把AI推理算力做成普惠价,一起闯进千亿级AI推理市场。
两个名不见经传的“刺客”——SambaNova Systems和Cerebras Systems,从AI推理这个腹地,向着固若金汤的GPU帝国英伟达发起了冲锋。
这项由中国人民大学的李晓希教授团队领导的突破性研究发表于2025年1月,论文题为"Search-o1: Agentic Search-Enhanced Large Reasoning Models"。有兴趣深入了解的研究者可以通过项目主页 https://se
苹果(AAPL.US)、戴尔(DELL.US)、慧与科技(HPE.US)以及希捷(STX.US)等科技公司在周二成为美股市场的核心关注焦点,此前华尔街知名投资机构伯恩斯坦(Bernstein)在美东时间周二发布的最新研报表示,人工智能技术发展趋势,尤其是预计到
这项由苏州大学计算机科学与技术学院的季逸鑫、李俊涛等研究者联合新加坡国立大学、蚂蚁集团等多家机构共同完成的重要研究发表于2025年6月,论文全面梳理了人工智能测试时计算的发展历程。有兴趣深入了解的读者可以通过arXiv:2501.02497v3访问完整论文。这
2025年9月10日,甲骨文股价大幅上涨,其联合创始人拉里・埃里森(Larry Ellison)一度成为全球首富。他认为,AI推理市场“将远大于”AI训练市场。
9月9号,AI圈又被那个男人搅得天翻地覆了。没错,说的就是皮衣刀客,英伟达的创始人兼首席执行官黄仁勋。在AI基础设施峰会(AI Infra Summit)上,老黄面带微笑,云淡风轻地扔出一款名为Rubin CPX的新品类GPU。
在全球科技行业努力应对人工智能应用和数字技术带来的巨大能源消耗之际,微软的研究人员可能已经找到了一个很有希望的解决方案。微软英国剑桥研究院的一个团队与剑桥大学的合作者成功开发了一款新型的模拟光学计算机(Analog Optical Computer, AOC)
在全球科技行业努力应对人工智能应用和数字技术带来的巨大能源消耗之际,微软的研究人员可能已经找到了一个很有希望的解决方案。微软英国剑桥研究院的一个团队与剑桥大学的合作者成功开发了一款新型的模拟光学计算机(Analog Optical Computer, AOC)
d-Matrix公司在AI基础设施峰会上发布了其AI加速战略的新组件——d-Matrix JetStream IO加速器,这是一款定制PCI IO卡,公司声称它能为AI推理提供超低延迟。
AI 推理领域迎来重要进展,Baseten 近日宣布完成 1.5 亿美元 D 轮融资,公司估值跃升至 21.5 亿美元。本轮融资由 BOND 领投,CapitalG、Premji 以及 Scribble 创始人 Kevin 和 Elizabeth Weil 作
本轮D轮融资由BOND领投,距离该公司上一轮融资约6个月时间。参与投资的还包括Alphabet Inc.的CapitalG基金、Conviction、Premji Invest、01A、IVP、Spark、Greylock和Scribble Ventures。
随着人工智能技术的不断演进,大语言模型正逐步从简单的“快思考”模式,转向更注重推理深度与逻辑连贯性的“慢思考”范式。以 DeepSeek-R1 为代表的新型大模型,通过引入强化学习机制强化长思维链推理能力,在复杂任务处理上展现出更强的理解力和决策能力。这类模型
同时,目前大多数新型计算系统要么只擅长 AI,要么只擅长优化,而且还需频繁进行高能耗的数字转换,效率受限。另外,在实际应用中,这些系统也常难与硬件高效配合,无论是处理内存受限的神经网络、解决复杂优化问题,还是应对模拟计算噪声,都表现不佳。
8月27-28日我们组织了2025年秋季策略会,在AI论坛《Token加速的AI时代》上,嘉宾分享了Agent在投研场景下的应用案例,包含业绩点评撰写、公司研究和调研大纲生成,强调Agent相对Chatbot在能力层面的优势。我们看到不同应用场景下Token调